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Inleiding 


Het voorliggende rapport beschrijft de rapportage over de eerste fase (deel A) van het onderzoek 
internetstemdiensten, dat Atos Consulting in opdracht van het ministerie van Binnenlandse Zaken 
en Koninkrijksrelaties (hierna te noemen het ministerie van BZK) heeft uitgevoerd. 


Aanleiding 


Het Nederlandse kabinet wil het stemmen voor kiezers die zich buiten Nederland bevinden 
makkelijker maken. In 2013 heeft het ministerie van BZK een onderzoek laten uitvoeren naar het 
stemmen per internet voor kiezers vanuit het buitenland. 

Op basis van de uitkomsten van dat onderzoek heeft het kabinet geconcludeerd dat nu de tijd nog 
niet rijp is om over te gaan op stemmen via internet voor de kiezers die vanuit het buitenland 
mogen stemmen. De minister van BZK sluit echter niet uit dat stemmen via internet in de 
toekomst zich zo zal ontwikkelen dat het mogelijk wel betrouwbaar en betaalbaar genoeg wordt. 
De minister van BZK wil daarom het vizier open houden en nagaan c.q. onderzoeken hoe 
internetstemmen zich ontwikkelt. 

Aan de Tweede Kamer is toegezegd een test uit te zullen voeren met bestaande 
internetstemdiensten die zijn ingezet bij verkiezingen voor vertegenwoordigende organen. De test 
is uitdrukkelijk geen onderdeel van een (aanbestedings)traject, om internetstemmen voor kiezers 
die vanuit het buitenland mogen stemmen, in te voeren en/of, om een internetstemdienst te 
ontwikkelen. 


Doel onderzoek internetstemdiensten 


Het doel van dit onderzoek is om na te gaan hoe betrouwbaar bestaande internetstemdiensten 
zijn, die zijn gebruikt bij verkiezingen van vertegenwoordigende organen. 


Fasering onderzoek 


Het onderzoek is opgedeeld in drie opeenvolgende fasen. In fase A is een onderzoek uitgevoerd 
om leveranciers van bestaande internetstemdiensten te identificeren die aan de voorgenomen test 
zouden kunnen deelnemen. 

Doel van fase A is om te onderzoeken of de leveranciers: 

• Voldoen aan de door het ministerie van BZK gestelde criteria die voorwaardelijk zijn voor 
deelname aan de test. 

• Bereid zijn om hun internetstemdienst te onderwerpen aan de beveiligingstesten en zo ja 
tegen welke voorwaarden. 

Dit rapport beschrijft de resultaten van deze fase. 

Fase B van het onderzoek heeft tot doel om de test voor te bereiden. Een belangrijk onderdeel 
hiervan is het inrichten en testen van de internetstemdienst op een IT-infrastructuur in 
Nederland. De uitvoering van Fase B vindt plaats in de periode maart tot juni 2016. 


Fase C van het onderzoek betreft het uitvoeren van de daadwerkelijke test. De test wordt 
uitgevoerd in de vorm van een gesimuleerde schaduwverkiezing, waarbij beveiligingsdeskundigen 
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en hackers de gelegenheid wordt geboden om beveiligingsrisico's in de internetstemdienst te 
vinden en proberen uit te buiten. 

De uitvoering van fase C vindt plaats in de periode augustus tot december 2016, waarbij de 
daadwerkelijke schaduwverkiezing plaatsvindt in de periode november tot december 2016. 


Aan pak fase A 


Het onderzoek is in drie delen opgezet: 

• Documentenstudie en internetsearch 

Deze analyse heeft zich gericht op het identificeren van leveranciers van internetstemdiensten 
die in aanmerking komen voor deelname aan het onderzoek. 

• Vragenronde deel 1 

Deze vragenronde heeft zich gericht op: 

o Het verifiëren bij de geïdentificeerde leveranciers of zij hun internetstemdienst 

daadwerkelijk hebben geleverd ten behoeve van een verkiezing van vertegenwoordigende 
organen. 

o Het toetsen of de leveranciers bereid zijn tot deelname aan de test en het registreren welke 
voorwaarden zij hier eventueel aan stellen. 

• Vragenronde deel 2 

In deel 2 van het onderzoek is nader ingegaan op de functionele en technische 
geschiktheidscriteria die noodzakelijk zijn voor deelname aan de test. Tevens is leveranciers 
gevraagd om een kostenspecificatie af te geven voor deelname aan het organiseren en 
uitvoeren van de test. 
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2 Vragen en response fase A 


De volgende paragrafen behandelen achtereenvolgens de resultaten van de documentenstudie en 
internetsearch, de in twee ronden uitgestuurde vragen naar de geselecteerde leveranciers en de 
response hierop. In hoofdstuk 3 wordt inhoudelijk ingegaan op de antwoorden die de leveranciers 
hebben gegeven. Hoofdstuk 4 behandelt vervolgens de belangrijkste constateringen. 


2.1 Documentenstudie en internetsearch 


Criteria voor deelname aan het onderzoek 

Om uitgenodigd te kunnen worden voor dit onderzoek moeten leveranciers voldoen aan de 
volgende criteria: 

• Het leveren van een internetstemdienst én 

• Het gebruik van deze internetstemdienst tijdens daadwerkelijke verkiezingen van 
vertegenwoordigende organen (dus geen pilot of experiment) 

Het onderzoek is uitgevoerd door middel van documentenstudie en een internetsearch. 

Docum entenstudie 

Officiële rapportages zijn geraadpleegd voor het identificeren van leveranciers van 
internetstemdiensten. Hieronder vallen: 

• Stichting ICT Uitvoeringsorganisatie (ICTU), Internetstemmen buitenland 2004 - 2008, Bijlage 
II 

• US Election Assistance Commission, A survey of Internet Voting. (Washington, D.C.: 14 
september 2011) 

www.eac.gov 

• Verdonck, Klooster & Associates (VKA), Onderzoek internetstemmen voor kiezers in het 
buitenland (28 januari 2014) 

www.rijksoverheid.nl/binaries/rijksoverheid/documenten/rapporten/2014/01/28/rapport- 

onderzoek-internetstemmen-voor-kiezers-in-het-buitenland/rapport-onderzoek- 

internetstemmen-voor-kiezers-in-het-buitenland.pdf 

• Council of Europe. Final report on e-voting. 5th review meeting on the CM Recommendation 
Rec(2004)ll on legal, operational and technical standards for e-voting. (Lochau, Austria: 28 
oktober 2014) 

www.coe.int/t/DEMOCRACY/ELECTORAL-ASSISTANCE/themes/evoting/FinalReport- 

evoting2014.pdf 

• VotelD 15. The accepted papers and participating parties of the 5th International Conference 
on e-voting and identity. (Bern: 2-4 september 2015) 

www.voteidl5.org 


Internetsearch 

Voor de internetsearch zijn voor de voorgestelde taalgebieden (Nederlands, Engels, Spaans, Hindi 
en Mandarijn) zoektermen geformuleerd. Deze zijn gebaseerd op de termen die gebruikt worden 
in wetenschappelijke en officiële documenten, zoals hierboven genoemd. Vervolgens is deze lijst 
aangevuld met synoniemen van deze termen en is elke lijst gecontroleerd door 
moedertaalsprekende professionals. 


2.1.1 Resultaat documentenstudie en internetsearch 

Na onderzoek op basis van genoemde criteria, zijn er in totaal 13 leveranciers geïdentificeerd om 
in aanmerking te komen voor het toesturen van de eerste vragenlijst van het onderzoek. 
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2.2 Vragen aan leveranciers ronde 1 

2.2.1 Inleiding 

Vragenronde 1 had tot doel om te verifiëren of leveranciers daadwerkelijk een internetstemdienst 
leveren die gebruikt is voor een verkiezing van vertegenwoordigende organen. Tevens is 
gevraagd of deze leveranciers bereid zijn om hun internetstemdienst te onderwerpen aan een 
test. In de paragrafen hierna zijn de aan de 13 geïdentificeerde leveranciers tijdens het onderzoek 
gestelde vragen opgenomen. De vragen zijn één op één overgenomen uit de offerteaanvraag op 
basis waarvan Atos Consulting de opdracht heeft gekregen. 

2.2.1.1 Vragen gebruik internetstemdienst 

1. Is uw internetstemdienst in gebruik (geweest) voor een verkiezing van 
vertegenwoordigende organen? 

o Zo ja, kunt u van maximaal 2 verkiezingen, kort aangeven in opdracht van welke 
overheidsinstantie en in welk land uw internetstemdienst is gebruikt voor 
internetstemmen, voor welke verkiezing en wanneer (maand en jaar)? 
o Kunt u aangeven wie wij bij deze overheidsinstantie kunnen benaderen om 
bovenstaande antwoorden te verifiëren? 

2.2.1.2 Vragen of er voldaan wordt aan bepaalde richtlijnen 

A. Voor internetstemdiensten gebruikt voor verkiezingen in landen die lid zijn van de Raad van 
Europa is de aanname, dat die stemdiensten voldoen aan de "legal, operational and technical 
standards for e-voting" neergelegd in de Recommendation Rec(2004)ll van Raad van 
Europa. 

2. Voldoet uw internetstemdienst volgens u aan genoemde aanbevelingen van de Raad van 
Europa? 

o Zo ja, kunt u een overzicht verstrekken waarin is vastgelegd aan welke aanbevelingen 
wordt voldaan ? 

■ Zo ja, wie (bijvoorbeeld een externe Auditor) heeft dit overzicht opgesteld en wilt u 
dit overzicht aan ons verstrekken? 

• Zo nee, waarom niet? 

B. Voor internetstemdiensten gebruikt voor verkiezingen in landen die geen lid zijn van de Raad 
van Europa is de aanname dat er gebruik is gemaakt van internationaal erkende richtlijnen. 

3. Kunt u aangeven of uw internetstemdienst aan internationaal erkende richtlijnen voldoet? 
o Zo ja welke richtlijnen zijn dat en kunt u die aan ons verstrekken? 

o Zo nee, waarom niet? 

4. Is er een overzicht beschikbaar waarin is vastgelegd aan welke eisen in deze richtlijnen 
wordt voldaan ? 

o Zo ja, wie heeft dit overzicht opgesteld en wilt u dit overzicht aan ons verstrekken? 
o Zo nee, waarom niet? 

2.2.1.3 Vragen m.b.t. bereidheid tot deelname test en verstrekken informatie 

Onderstaande vragen gaan in op een eventuele bereidheid tot deelname aan een voorgenomen 
test, het verstrekken van documentatie en de kosten voor deelname aan de test. 


Documentnummer: MinBZK-AC-GRC-Rapportage Internetstemmen-20160216 
© Copyright 2016, Atos Consulting N.V. 


6 van 22 





AtoS 

Vertrouwelijk Consulting 


5. Is er bereidheid om deel te nemen aan de test? 

o Zo ja, stelt u op voorhand eventuele voorwaarden, beperkingen, et cetera aan de 
deelname en/of aan de beveiligingstesten, die kunnen worden uitgevoerd? 

■ Zo ja, welke voorwaarden, beperkingen zijn dat dan precies? 
o Zo nee, waarom niet? 

6. Welke informatie en documentatie over de internetstemdienst is de leverancier bereid 
beschikbaar te stellen ? 

o Stemt u er mee in dat die informatie en documentatie openbaar wordt gemaakt? 

■ Zo ja, zijn daaraan beperkingen gebonden ? 

7. Is de leverancier bereid om in te stemmen met het, zonder beperkingen, openbaar maken 
van de uitkomsten van de test? 

o Zo nee, waarom niet? 

8. Gaat de leverancier akkoord met de eis dat de internetstemdienst 'gehost' zal worden op 
een IT-infrastructuur in Nederland? 

o Zo ja, welke eisen stelt u aan deze IT-infrastructuur? 
o Zo ja, hoeveel voorbereidingstijd heeft u daarvoor nodig? 
o Zo nee, waarom niet? 

9. Zijn er kosten die u in rekening wilt brengen voor de deelname aan de test? 

o Zo ja, kunt u een indicatie geven welke kosten dat zijn en de hoogte daarvan. 


2.2.2 Response op vragenronde 1 

In de periode 12 november 2015 tot en met 26 november 2015 zijn de leveranciers in staat 
gesteld de vragen te beantwoorden, waarna de verificatie van de antwoorden heeft 
plaatsgevonden. 

Onderstaand overzicht geeft aan wat de uitkomst is van de uitvraag: 


Informatie met 
betrekking tot uitvraag 

Aantal 

Toelichting 

Benaderde leveranciers 

13 


Ingestuurde beantwoorde 
vragenlijsten 

5 


Bedankt voor deelname 

3 

Krijgt vele verzoeken en hebben 
besloten om aan deze test niet 
deel te nemen 

Richt zich niet op het Europese 
Continent 

Zien geen toegevoegde waarde 
voor hunzelf, omdat dit niet leidt 
tot verwerving van een systeem 

Uitgesloten van 
deelname 

2 

Bieden geen echte Internet 

Voting toepassing, meer een 
mobiel elektronisch stembureau 

Voldoen niet aan de criteria voor 
een verkiezing voor 
vertegenwoordigende organen 

Geen reactie 

3 
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2.3 Vragen aan leveranciers ronde 2 

2.3.1 Inleiding 

De vijf leveranciers die in ronde 1 de vragenlijst beantwoord hebben zijn allen uitgenodigd om 
deel te nemen aan vragenronde 2. Deze vragenronde had tot doel om de geschiktheidscriteria te 
verifiëren en om tot een nadere specificering te komen van de kosten die gemoeid zijn met het 
organiseren (deel B) en uitvoeren (deel C) van de test. Deze geschiktheidscriteria zijn opgesteld 
door het ministerie van BZK. 

2.3.2 Geschiktheidscriteria 

De volgende geschiktheidscriteria zijn één op één overgenomen uit bijlage C die onderdeel 
uitmaakte van de offerteaanvraag op basis waarvan Atos Consulting de opdracht heeft gekregen: 

1. Deelnemers aan de test moeten de integriteit en authenticiteit van zowel de website waarvan 
de (eventuele) kiezersapplicatie kan worden gedownload als van de (eventuele) 
kiezersapplicatie of andere programmatuur die de deelnemer moet gebruiken kunnen 
controleren. 

2. Deelnemers aan de test moeten de mogelijkheid hebben om na te gaan dat er verbinding is 
gelegd met de authentieke internetstemdienst. 

3. Het moet mogelijk zijn om te controleren dat een stem is opgeslagen in de elektronische 
stembus van de authentieke internetstemdienst. 

4. De internetstemdienst dient de eigen toestand en beschikbare statusinformatie zelf constant 
te analyseren om aanvallen en andere problemen te detecteren. In het geval van problemen 
dient het systeem meldingen te genereren die ook worden gelogd. 

5. De internetstemdienst is voorzien van maatregelen om verschillende soorten aanvallen te 
detecteren en te mitigeren, waaronder hacking, manipulatie, defacing en DDoS. 

6. De internetstemdienst moet voorzien zijn van maatregelen tegen het afluisteren, 
onderscheppen, wijzigen, verwijderen en/of anderszins manipuleren van de communicatie 
tussen de (eventuele) kiezersapplicatie of de internetbrowser op de computer van de 
deelnemer aan de test en de server waar het systeem op werkt. Onder de communicatie 
wordt verstaan alle identificerende gegevens, authenticatiegegevens, eventuele sessie data, 
cryptografische sleutels, de stem, etc. 

7. Bij het toepassen van crypt grafische technieken zijn beveiligingsmaatregelen toegepast ten 
aanzien van bijvoorbeeld sleutelbeheer, sleutellengten en versleutelingstechnieken c.q. 
algoritmen. 

8. In ieder geval vanaf het moment dat een stem wordt ontsleuteld mag er geen enkele relatie 
gelegd worden tussen de inhoud van de stem en de gegevens die de identiteit van de 
deelnemer aan de test kunnen vertegenwoordigen. 

Onder gegevens die op de identiteit van de deelnemer kunnen duiden wordt onder meer de 
IP-adressen, logfiles, tijdstempels en volgorde van de ontvangen stemmen begrepen. 

9. Het moet niet mogelijk zijn om de in de internetstemdienst opgeslagen stemmen te wijzigen 
ofte verwijderen dan wel om stemmen toe te voegen. Pogingen daartoe moeten worden 
gedetecteerd door de stemdienst. In het geval van detectie geeft de stemdienst een melding. 

10. De toegang tot de internetstemdienst voor deelnemers aan de test is gescheiden van de 
toegang voor de personen die het systeem moeten bedienen c.q. onderhouden tijdens de test. 

11. Indien sleutelgeneratie nodig is wordt de generatie uitgevoerd in een apart proces en een 
apart systeem voorafgaand aan de opening van het begin van de test. 

12. Indien er gebruik wordt gemaakt van cryptografische sleutels dan moeten die worden 
opgeslagen in een Hardware Security Module (HSM). 

13. De internetstemdienst kan, na de start van de test, niet worden teruggebracht naar de 
oorspronkelijke status zoals die was voorafgaand aan de start van de test. Een herstart mag 
niet leiden tot het wissen c.q. verlies van de reeds uitgebrachte stemmen. 
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14. Functioneel-, systeem- en/of applicatiebeheer van de internetstemdienst is tijdens de test 
alleen toegestaan na instemming van de personen die verantwoordelijk zijn voor de 
organisatie en de uitvoering van de test. 

15. De deelnemers aan de test moeten om een stem uit te brengen gebruik kunnen maken van 
algemeen gangbare computersystemen, zoals een (Windows en Apple) PC, (Windows en 
Apple) laptop en een (Android, Apple en Windows) tablet. 

16. Met de stemdienst moet het mogelijk zijn om een keuze te maken op één lijst en één 
kandidaat. Tevens moet het mogelijk zijn om blanco te stemmen. 

17. De keuze die de deelnemer aan de test maakt voor een lijst en een kandidaat of voor blanco 
wordt getoond en de deelnemer kan de keuze bevestigen dan wel opnieuw een keuze maken 
voordat de stem wordt uitgebracht. 

18. De internetstemdienst en de (eventuele) kiezerapplicatie moet duidelijk aangeven dat met 
succes een stem is uitgebracht en dat daarmee de procedure voor de deelnemer aan de test 
is voltooid. 

19. De internetstemdienst / de (eventuele) kiezerapplicatie toont de kiezer steeds in welke stap 
van het stemproces hij of zij zich bevindt. 

20. De internetstemdienst moet het mogelijk maken om voorafgaand aan de start van de test te 
controleren dat de elektronische stembus leeg is. 

21. De internetstemdienst moet de mogelijkheid bieden om de stemdienst te openen en te sluiten 
voor het uitbrengen van stemmen. Na sluiting moet opnieuw openen niet mogelijk zijn. 

22. Na sluiting moet het niet mogelijk zijn dat een stem in de elektronische stembus terecht kan 
komen. 

23. De stemmen worden volstrekt willekeurig in de elektronische stembus opgeslagen. 

24. Het tellen van de uitgebrachte stemmen mag alleen plaatsvinden als de stemdienst de status 
"gesloten" heeft. 

25. De internetstemdienst dient te beschikken over een log-functionaliteit die het mogelijk maakt 
om gedurende de test het correct functioneren van het systeem te kunnen vaststellen. 

26. In de log-functionaliteit mogen geen gegevens worden bewaard die, op zichzelf of in 
combinatie met andere gegevens binnen de internetstemdienst, ertoe kunnen leiden dat een 
stem kan worden gekoppeld aan de identiteit van een deelnemer aan de test. Dit om te 
voorkomen dat achterhaald zou kunnen worden welke keuze een deelnemer heeft gemaakt. 

27. De log-functionaliteit is beveiligd zodat wijziging en verwijdering niet mogelijk is. 

28. De test duurt maximaal zeven kalenderdagen. 

29. De internetstemdienst wordt gedurende de voorbereiding en uitvoering van de test gehost op 
een locatie in Nederland. 

30. Gedurende die periode dient de internetstemdienst dagelijks tussen 07.00 uur en 22.00 uur 
Nederlandse tijd voor deelnemers aan de test beschikbaar te zijn om een stem te kunnen 
uitbrengen. 


2.3.3 Vragen met betrekking tot de kosten 

Aan de leveranciers is gevraagd inzichtelijk te maken wat de kosten zijn voor het voorbereiden 
van en de deelname aan de test, en hoeveel voorbereidingstijd zij hiervoor nodig hebben. 

Voor de berekening van de kosten is uitgegaan van de volgende kengetallen: 

• De omgeving wordt ingericht en getest ten behoeve van de schaduwverkiezing in de periode 
april tot en met juni 2016. 

• De schaduwverkiezing zelf wordt uitgevoerd in de periode november-december 2016. 

• De duur van een gesimuleerde schaduwverkiezing duurt maximaal 7 kalenderdagen. 

• In potentie gaat het om 50.000 personen die deel kunnen nemen aan de test. 

Leveranciers dienen een volledig overzicht te geven van alle door hen te leveren diensten. Zij 
moeten daarmee een raming maken van alle kosten die zij in rekening willen brengen. Zonder 
volledig te willen zijn kunnen leveranciers hierbij denken aan kosten voor: 

• Het gereedmaken van de stemdienst (met aanpassingen aan de stemdienst indien nodig). 

• De documentatie van en over de stemdienst. 

• Het hosten van de stemdienst (in Nederland) inclusief, indien nodig, de apparatuur en 
programmatuur en uiteraard alle kosten die met het hosten zelf samenhangen. 
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• Het voorafgaand aan de test vaststellen dat de steundienst (inclusief het hosten) gereed is voor 
gebruik. Tevens de kosten voor het eventueel verhelpen van bevindingen. 

• Al het personeel dat beschikbaar moet zijn gedurende de periode dat de test wordt voorbereid 
en uitgevoerd. 

Indien bij het ramen van de kosten uitgangspunten, aannames, veronderstellingen, 
randvoorwaarden, etc. zijn gehanteerd, dienen deze door de leveranciers geëxpliciteerd te 
worden. 


2.3.4 Response op vragenronde 2 

De vragen voor vragenronde 2 zijn uitgestuurd op 8 december 2015. Leveranciers hebben tot 4 
januari 2016 de mogelijkheid gekregen om te antwoorden. 

Vier van de vijf leveranciers hebben de vragen voor vragenronde 2 beantwoord. 
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3 

Resultaten onderzoek 

3.1 

Inleiding 

Bij de verificatie van de antwoorden van de internetstemdienst leveranciers hebben wij 
gecontroleerd: 

• of zij een antwoord hebben gegeven dat zij voldoen aan de gestelde vragen, 

• of zij het antwoord onderbouwd hebben voor alle elementen uit de vraagstelling en 

• of zij referenties hebben gegeven van documenten waarin de onderbouwing beschreven is. 

Het antwoord is volledig als zij tenminste hebben aangegeven of zij aan de vraag voldoen en een 
onderbouwing hebben gegeven voor alle elementen uit de vraagstelling. 

Het antwoord is juist indien wij de onderbouwing van het antwoord in gerefereerde documenten in 
opzet hebben kunnen verifiëren. 

In de volgende paragrafen worden de resultaten per leverancier behandeld. 

3.2 

Leverancier A 

3.2.1 

Samenvatting verificatie van de beantwoorde vragen 

3.2.1.1 

Vragen met betrekking tot gebruik internetstemdienst 

In haar beantwoording gaat de leverancier in op twee referenties in landen waar de 
internetstemdienst voor een bindende verkiezing voor vertegenwoordigende organen is 
toegepast. Beide referenties zijn uitvoerig beschreven en voorzien van getekende 
referentieverklaringen. 

De internetstemdienst van de leverancier is overigens in meerdere landen toegepast. Deze zijn in 
de verificatie niet beoordeeld omdat de leverancier gevraagd is om twee referenties aan te 
leveren. 

3.2.1.2 

Vragen met betrekking tot richtlijnen en standaarden 

De leverancier geeft aan dat de internetstemdienst voldoet aan de aanbevelingen van de Raad 
van Europa. Hiervoor heeft zij een certificaat opgeleverd. 

Daarnaast geeft de leverancier aan te voldoen aan meerdere internationaal erkende richtlijnen. 
Deze staan beschreven in haar beantwoording en indien aanwezig voorzien van certificaten. 

De leverancier geeft aan dat er vanuit security perspectief geen internationaal erkende richtlijnen 
zijn die voor alle landen van toepassing zijn. Vanuit een standaardisatieperspectief geeft de 
leverancier aan dat een online voting systeem zich kan conformeren aan 'Common Criteria for 
Information Security Evaluation'. 

Daarnaast geeft de leverancier aan te voldoen aan meerdere internationaal erkende richtlijnen 
waar zij in sommige gevallen ook certificaten van heeft overhandigd. 

3.2.1.3 

Vragen met betrekking tot bereidheid en voorwaarden voor deelname test 

De leverancier geeft aan bereid te zijn tot deelname aan de voorgenomen test. Zij stelt hiertoe de 
volgende voorwaarden: 

• De leverancier geeft aan alle standaard documentatie ter beschikking te willen stellen welke is 
gerelateerd aan het online voting platform. 
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• De leverancier geeft aan dat met betrekking tot de broncode, deze enkel ter beschikking kan 
worden gesteld aan derden, na ondertekening van een Non-Disclosure-Agreement. Deze 
derden zijn personen die deelnemen aan het testtraject of deelnemen aan de hackathon. In 
alle gevallen behoudt de leverancier zich het recht voor om deze derden te autoriseren. De 
reden hiervoor is gelegen in het feit dat de leverancier haar broncode wil beschermen daar dit 
geen open source oplossing is. 

• De ter beschikking gestelde source code mag niet worden gedeeld en de code mag niet worden 
gedistribueerd. 

• Indien de internetstemdienst wordt geaudit en de source code wordt gereviewed, dienen de 
auditoren ervoor zorg te dragen dat de source code op geen enkele wijze toegankelijk is voor 
derden. 

• De leverancier is bereid om de uitkomsten van de test openbaar te maken, echter met een 
aantal beperkingen: 

o Zij wil de mogelijkheid hebben om de informatie en resultaten van de test te beoordelen 
voordat deze worden opgenomen in het eindrapport of de publicatie, 
o Het commentaar of uitleg van de leverancier op de bevindingen van het rapport moet 
opgenomen worden in de vastgestelde eindrapportages die openbaar gemaakt worden. 

De leverancier geeft een aanbeveling voor het vermijden van een bepaald type test (een Denial of 
Service test 'DDoS attacks based on flooding techniques or layer 4 attacks'), omdat dit van grote 
invloed is op het ontwerp van de infrastructuur waarop de test wordt uitgevoerd. Dit brengt 
volgens de leverancier forse kosten met zich mee. De leverancier geeft overigens aan bereid te 
zijn aan een dergelijke test mee te doen en heeft de hiervoor benodigde kosten afzonderlijk 
geraamd. 

3.2.1.4 Geschiktheidscriteria 

De leverancier heeft op alle geschiktheidscriteria positief geantwoord en heeft deze 
beantwoording onderbouwd. 

3.2.1.5 Kostenspecificatie 

De leverancier geeft aan de volgende kosten in rekening te willen brengen voor deelname aan de 
test: 

• € 205.000 exclusief BTW voor de configuratie van de internetstemdienst op een infrastructuur 
in Nederland voor een periode van 9 maanden. Dit is exclusief de optionele DDoS module. 

• Indien Atos Consulting of het ministerie van BZK DDoS-testen wil laten uitvoeren, is er een 
optionele cloud-based Anti-DDoS solution noodzakelijk. De kosten hiervoor bedragen € 
146.000. 

• De leverancier brengt geen licentiekosten in rekening voor de test. 

• De leverancier gaat uit van 50.000 deelnemers. 

• In bovengenoemd bedrag zijn de volgende kostencomponenten inbegrepen: 

o aanpassing van de internetstemdienst aan de scope van de test en het kiesmodel voor de 
schaduwverkiezing (referendum, open of gesloten lijsten); 
o systeemdocumentatie in de vorm van gebruikershandleidingen, FAQ's en audit 
ondersteuning; 

o technische ondersteuning gedurende de 7 kalenderdagen durende schaduwverkiezing, on 
site en remote; 

o fysieke aanwezigheid bij kick-off en gebruikerstesten; 
o fysieke aanwezigheid van 3 experts tijdens uitvoering van de test; 
o hosting in Nederland, inclusief hardware, software, installatie en support gedurende 9 
maanden; 

o ondersteuning van audits voor 160 uren. 

• Uitgesloten van deze kosten zijn de kosten voor'user credential delivery' 
gebruikersnamen/passwords en return codes. Dit betreft de kosten voor het uitsturen van 
stempassen aan deelnemers van de test. 
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• De leverancier stelt het volgende facturatieschema voor: 
o 50% van de kosten bij tekenen contract; 
o 30% na gebruikerstesten; 
o 20% na afronding schaduwverkiezing. 

De leverancier geeft aan dat de voorbereidingstijd voor het opzetten en testen van de ingerichte 
steundienst 3 maanden bedraagt. De internetstemdienst wordt geconfigureerd in de maanden 
maart tot juni 2016. Na afronding van de gebruikerstesten wordt het systeem gesloten tot de 
testen in november/december. 

3.2.2 

Samenvattend beeld 

Leverancier A heeft in antwoord op beide vragenrondes op zorgvuldige wijze getracht de 

antwoorden te verstrekken. 

In de hiervoor beschreven resultaten geven wij aan dat Leverancier A strikt genomen niet voldoet 

aan de eisen die het ministerie van BZK heeft gesteld: 

• Leverancier A stelt voorwaarden aan openbaarmaking van de testresultaten. 

• Leverancier A stelt voorwaarden aan openbaarmaking van de source code en confidentiële 
informatie. 

• Leverancier A stelt voor om in de uit te voeren testen DDoS buiten scope te plaatsen. Zij biedt 
hier wel een optionele module voor aan in de infrastructurele voorziening. Met deze module 
wordt het maximaal beschikbare budget van het ministerie van BZK overschreden. 

3.3 

Leverancier B 

3.3.1 

Samenvatting verificatie van de beantwoorde vragen 

3.3.1.1 

Vragen met betrekking tot gebruik internetstemdienst 

In haar beantwoording gaat de leverancier in op één land waar de internetstemdienst meerdere 
malen voor een bindende verkiezing voor vertegenwoordigende organen is toegepast. 

Dit heeft het onderzoeksteam kunnen verifiëren. 

3.3.1.2 

Vragen met betrekking tot richtlijnen en standaarden 

De leverancier geeft aan dat in hun optiek de aanbevelingen van de Raad van Europa mogelijk op 
bepaalde punten op gespannen voet kunnen staan met nationale wet- en regelgeving. Zij 
interpreteren deze aanbeveling dan ook als een richtlijn die zij inzetten naast de geldende wet- en 
regelgeving van het betreffende land waar de verkiezing wordt gehouden. 

Deze leverancier geeft aan dat de oplossing is geaudit bij elke verkiezing waarbij het systeem is 
gebruikt. Deze auditresultaten zijn openbaar. 

Tevens geeft de leverancier aan te voldoen aan meerdere internationaal erkende richtlijnen. 

3.3.1.3 

Vragen met betrekking tot bereidheid en voorwaarden voor deelname test 

De leverancier is bereid om deel te nemen aan de test. Zij stelt hierbij de volgende voorwaarden: 

• De leverancier is bereid deel te nemen aan de test en zal de vereiste informatie openbaar 
maken, onder voorbehoud van het verkrijgen van meer gedetailleerde informatie over het 
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proces, tijdlijn, gedetailleerde projectdoelstellingen en een overeenkomst op het gebied van 
informatiebeheer en de openbaarmaking. 

• De leverancier verzoekt Atos Consulting om meer details te verstrekken over het vervolg 
proces, in het bijzonder hoe verantwoord openbaarmaking zal worden gemanaged en hoe de 
resultaten van het test proces zullen worden geëvalueerd, verspreid en gepubliceerd. 

• De leverancier kent beperkingen toe aan de publicatie van vertrouwelijke en commercieel 
gevoelige informatie die de veiligheid en privacy van het internetstemsysteem of het 
verkiezingsproces in gevaar brengt. 

• De leverancier wil vooraf overeenstemming hebben over welk soort informatie wordt 
gepubliceerd en dat deze informatie voorafgaande aan publicatie door de leverancier 
gereviewed mag worden. 

3.3.1.4 Geschiktheidscriteria 

De leverancier heeft op alle geschiktheidscriteria positief geantwoord en heeft deze 

beantwoording onderbouwd. 

3.3.1.5 Kostenspecificatie 

De leverancier geeft aan de volgende kosten in rekening te willen brengen voor deelname aan de 

test (exclusief BTW): 

• Engineering: € 170.375. 

• Software & Licenses: € 150.000. 

• Project Management: € 114.000. 

• Hosting & infrastructuur: € 375.000. 

• Implementation & Support: € 30.500. 

• Travel & Accomodation: € 21.240. 

De leverancier doet hierbij de volgende aannames: 

• De succescriteria voor het project moeten door Atos Consulting / het ministerie van BZK 
worden opgesteld en gedeeld met leverancier, tenminste één maand voor aanvang van het 
project. 

• De omgeving wordt opgezet en getest in de periode april tot juni 2016. 

• De schaduwverkiezing zelf vindt plaatst in de periode november-december 2016. 

• De maximale duur van de gesimuleerde schaduwverkiezing bedraagt 7 kalenderdagen. 

• Hosting en infrastructuur zijn gebaseerd op deelname van maximaal 50.000 deelnemers 
gedurende de 7 daagse periode. 

• De verkiezing is niet-bindend. 

• Atos Consulting geeft duidelijk aan welke informatie openbaar wordt gemaakt, tenminste één 
maand voor de test, vergezeld met een duidelijk beleid voor openbaarmaking. 

• De uitkomsten van de test vanuit dit project worden gedeeld met de leverancier ter 
beoordeling en overeenstemming alvorens gepubliceerd te worden. 

• Al het intellectueel eigendom van de leverancier blijft exclusief voor de leverancier. 

• De source code die gebruikt wordt voor dit project blijft vertrouwelijk en wordt gedeeld met 
Atos Consulting, het ministerie van BZK of officieel benoemde onafhankelijke auditoren/testers 
onder voorwaarden van deugdelijke geheimhoudingsverklaringen. 


3.3.2 Samenvattend beeld 

Leverancier B heeft in antwoord op beide vragenrondes op zorgvuldige wijze getracht de 
antwoorden te verstrekken. 

Bovengenoemde samenvatting van de verificatie geeft aan dat Leverancier B niet voldoet aan de 
eisen die het ministerie van BZK heeft gesteld: 

• Leverancier B stelt voorwaarden aan openbaarmaking van de testresultaten. 
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• Leverancier B stelt voorwaarden aan openbaarmaking van de source code en confidentiële 
informatie. 

• De kosten die de leverancier opgeeft, zijnde €1.041.949 inclusief BTW (€ 861.115 exclusief 
BTW) vallen buiten het door het ministerie van BZK aangegeven beschikbarebudget. 


3.4 Leverancier C 


3.4.1 Samenvatting verificatie van de beantwoorde vragen 

3.4.1.1 Vragen met betrekking tot gebruik internetstemdienst 

De leverancier heeft aangegeven aan vele verkiezingen te hebben deelgenomen. Voor de 
verificatie is één referentie aangeleverd. Uit de verstrekte informatie blijkt tevens dat de 
leverancier, net als een zusterbedrijf van leverancier C, zich voornamelijk richt op verkiezingen 
voor niet-vertegenwoordigende organen. 

3.4.1.2 Vragen met betrekking tot richtlijnen en standaarden 

De leverancier verklaart te voldoen aan de eisen van de kieswet voor het land waarvoor de 
referentie is opgegeven. Dit is geverifieerd. Hierin zijn volgens de leverancier de aanbevelingen 
van de Raad van Europa overgenomen. Dit laatste hebben wij niet kunnen verifiëren. Tevens 
geeft de leverancier aan meegewerkt te hebben aan verschillende internationaal erkende 
richtlijnen. Dit hebben wij niet kunnen verifiëren. Zo heeft zij een set aan richtlijnen opgesteld ten 
behoeve van een project voor een ministerie van defensie. Tevens maakt de leverancier melding 
dat haar systeem geaudit is door een onafhankelijk instituut. 

Uit de gegeven antwoorden wordt niet expliciet duidelijk aan welke richtlijnen Leverancier C 
voldoet. 

3.4.1.3 Vragen met betrekking tot bereidheid en voorwaarden voor deelname test 

De leverancier is bereid tot deelname aan de test. Ze stelt hiertoe de volgende voorwaarden: 

• Het uitvoeren van DoS aanvallen zijn uitgesloten indien de test wordt uitgevoerd op de 
infrastructuur van Leverancier C (vanwege andere klanten op de zelfde hardware). 

• Testen waarbij de source code openbaar moet worden gemaakt worden niet geaccepteerd 
vanwege de bescherming van het intellectueel eigendom. 

• Penetratietest rapporten en expert verslagen kunnen worden verstrekt behalve wanneer dit is 
gerelateerd aan source code auditing, beschermde IP informatie en intellectueel eigendom. 

3.4.1.4 Geschiktheidscriteria 

De leverancier lijkt in haar beantwoording te voldoen aan alle geschiktheidscriteria. Zij heeft 
echter niet op alle antwoorden expliciet met 'ja' of'nee' geantwoord. Voor sommige antwoorden 
ontbreekt de onderbouwing. Tevens geeft de leverancier niet expliciet weer aan welke richtlijnen 
zij voldoet. 

Zonder aanpassingen voldoet Leverancier C niet aan het geschiktheidscriterium 12. Zij stelt een 
andere oplossing voor, maar kan desgewenst ook voldoen aan het geschiktheidscriterium. 
Leverancier C voldoet volgens de letter niet aan het gestelde over openingstijden, omdat zonder 
aanpassingen ook 's nachts gestemd kan worden en dat is niet de bedoeling volgens het 
ministerie van BZK. 
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3.4.1.5 Kostenspecificatie 

De leverancier geeft aan de volgende kosten in rekening te willen brengen voor deelname aan de 
test: 

• De kosten voor de voorbereiding bedragen € 6.000. Hier bovenop komen de kosten voor 
vertalen van de stemdienst vanuit het Engels naar het Nederlands indien gewenst: deze kosten 
bedragen € 1.000. Vertalingen van documenten vanuit het Engels naar het Nederlands kosten 
€ 1 . 000 . 

• Voor hosting zijn twee opties weergegeven: 

o op een Cloud bedragen deze voor fase B en C € 14.000; 

o op dedicated machines/firewall/switch bij een hostingbedrijf in Nederland bedragen deze € 
40.000 voor B en C; 

o de kosten voor de voorbereidingen en acceptatie van de hosting omgeving bedragen voor 
Cloud € 6.000,- en voor dedicated machines € 12.000. 

• De genoemde bedragen zijn inclusief het verhelpen van problemen. 

• Leverancier doet geen uitspraak in haar kostenspecificatie over een specifieke infrastructuur, 
die als noodzakelijk is genoemd bij geschiktheidscriterium 5 voor DoS/DDoS mitigatie. 

• De personele kosten voor medewerkers tijdens de testuitvoer bedragen € 15.000, inclusief 
reis/verblijfskosten. 

• De kosten voor fysieke aanwezigheid bij bijeenkomsten zijn begroot op € 2.000 per persoon. 

Er wordt uitgegaan van 5 bijeenkomsten. 

• Er is geen kostenopgave gegeven voor het aanpassen van de programmatuur om te voldoen 
aan geschiktheidscriterium 12. 

• Ter vergelijking met andere leveranciers komt Leverancier C op de volgende 
kostencomponenten uit (exclusief BTW): 

o voorbereiding, NL-taal en documentatie: € 15.000; 
o hosting in Nederland en inrichting: € 52.000; 
o personele kosten: € 15.000; 

o aanwezigheid bij 5 bijeenkomsten is afhankelijk van het aantal deelnemers van de 
leverancier (bij 1 deelnemer: €10.000, bij 2 deelnemers: €20.000, enz.); 
o totaal: € 112.000 (bij 3 deelnemers bij 5 bijeenkomsten); exclusief geschikt maken voor 
HSM. 

• Potentieel nemen 50.000 personen deel aan de test. 

• De internetstemdienst website, admin website, en generieke meldingen zijn in de Nederlandse 
taal. 

• Het ministerie van BZK stelt 3 Excel files ter beschikking: 
o lijst van deelnemers aan de test; 

o lijst van kandidaten; 
o lijst voor'election authorities'. 

• Kosten voor verspreiding 'PIN/PASS' aan deelnemers via reguliere post, email of SMS zijn niet 
begroot. 

• Bijeenkomsten vinden plaats gebruikmakend van virtuele vergadertools. 

De leverancier geeft de volgende tijdslijnen aan voor de voorbereiding en uitvoering van de test: 

• In de periode april tot juni 2016 wordt de omgeving ingericht en getest. 

• In de periode november-december 2016 wordt de schaduwverkiezing gedurende een periode 
van 7 kalanderdagen uitgevoerd. 

• Leverancier geeft aan één maand nodig te hebben om het systeem voor te bereiden, inclusief 
installatie. 


3.4.2 Samenvattend beeld 

Leverancier C heeft haar beantwoording op vragenronde één onderbouwd. In vragenronde twee 
bleek de leverancier beperkt in haar onderbouwing van de antwoorden op de 
geschiktheidscriteria. 
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Bovengenoemde samenvatting van de verificatie geeft aan dat leverancier C niet voldoet aan de 

eisen die het ministerie van BZK heeft gesteld: 

• Leverancier C stelt voorwaarden aan het openbaar maken van testresultaten daar waar dit 
betrekking heeft op de source code. 

• Leverancier C stelt voorwaarden aan het openbaar maken van de source code en confidentiële 
informatie. 

• Leverancier C lijkt in haar beantwoording te voldoen aan alle geschiktheidscriteria. Zij heeft 
echter niet op alle antwoorden expliciet met ja of nee geantwoord. Voor sommige antwoorden 
ontbreekt de onderbouwing. 

• Zonder aanpassingen voldoet de leverancier niet aan geschiktheidscriterium 12. 

• Leverancier C voldoet volgens de letter niet aan het gestelde over openingstijden, omdat 
zonder ingrijpen ook 's nachts gestemd kan worden en dat is niet de bedoeling van het 
ministerie van BZK. 


3.5 Leverancier D 


3.5.1 Samenvatting verificatie van de beantwoorde vragen 

3.5.1.1 Vragen met betrekking tot gebruik internetstemdienst 

In haar beantwoording gaat de leverancier in op één land waar de internetstemdienst meerdere 
malen voor een bindende verkiezing voor vertegenwoordigende organen is toegepast. 

Dit heeft het onderzoeksteam kunnen verifiëren. 

3.5.1.2 Vragen met betrekking tot richtlijnen en standaarden 

De leverancier stelt dat zij heeft geparticipeerd in het opstellen van de richtlijnen van de Raad van 
Europa. Tevens stelt zij dat haar systeem geaudit is op de richtlijnen. Een rapportage hierover is 
gepubliceerd. 

De vraag ten aanzien van de internationaal erkende eisen en richtlijnen heeft de leverancier niet 
beantwoord. 

3.5.1.3 Vragen met betrekking tot bereidheid en voorwaarden voor deelname test 

De leverancier is bereid tot deelname aan de test. Zij stelt hiertoe de volgende voorwaarden: 

• Testen die worden uitgevoerd moeten worden gepland in periodes dat er geen verkiezingen in 
het land van herkomst van de leverancier gepland staan, daar de leverancier de test wil 
uitvoeren op de IT Infrastructuur op haar eigen servers in haar land. 

• Ten aanzien van publicatie van de uitkomsten van de test stelt de leverancier de voorwaarde 
dat zij mag reageren op de observaties alvorens dit op enigerlei wijze wordt gepubliceerd. 

• De leverancier gaat niet akkoord met de eis dat de stemdienst wordt gehost op een 
infrastructuur in Nederland. 

• De leverancier doet geen uitspraak over het verstrekken van vertrouwelijke informatie dan wel 
Intellectual Property. 

• De leverancier geeft aan dat zij zelf bezig is met een traject om de source code van het 
systeem te publiceren. 

De leverancier geeft een advies om de testen die het ministerie van BZK wil laten uitvoeren te 
incorporeren in een proces dat Leverancier D zelf is gestart met betrekking tot openbaarmaking 
van de broncode. Dit omvat onder andere deelname van hackers en de Scientific Community. 
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3.5.1.4 Geschiktheidscriteria 

De leverancier heeft de beantwoording op geschiktheidscriteria zeer summier gedaan. Zij heeft de 
vragen enkel met 'ja' of'nee' beantwoord zonder daarbij een onderbouwing te verstrekken. Op de 
volgende geschiktheidscriteria geeft Leverancier D aan niet te voldoen: 

1. Deelnemers aan de test moeten de integriteit en authenticiteit van zowel de website waarvan 
de (eventuele) kiezersapplicatie kan worden gedownload als van de (eventuele) 
kiezersapplicatie of andere programmatuur die de deelnemer moet gebruiken kunnen 
controleren. 

De leverancier geeft 'nee' als antwoord. 

5. De internetstemdienst is voorzien van maatregelen om verschillende soorten aanvallen te 
detecteren en te mitigeren, waaronder hacking, manipulatie, defacing en DDoS. 

De leverancier geeft aan te voldoen met uitzondering van DDoS. 

12. Indien er gebruik wordt gemaakt van cryptografische sleutels dan moeten die worden 
opgeslagen in een Hardware Security Module (HSM). 

De leverancier geeft 'nee'als antwoord. 

13. De internetstemdienst kan, na de start van de test, niet worden teruggebracht naar de 
oorspronkelijke status zoals die was voorafgaand aan de start van de test. Een herstart mag 
niet leiden tot het wissen c.q. verlies van de reeds uitgebrachte stemmen. 

De leverancier geeft zowel 'ja' als 'nee' aan in haar beantwoording: Ja, indien gebruik 
gemaakt wordt van het 'restoren' van een eerder gemaakte 'backup'. 

21. De internetstemdienst moet de mogelijkheid bieden om de stemdienst te openen en te 
sluiten voor het uitbrengen van stemmen. Na sluiting moet opnieuw openen niet mogelijk 
zijn. 

De leverancier geeft zowel 'nee' als ja' als antwoord met als toelichting dat het mogelijk is 
maar dat de organisatorische procedure dit verhinderd. 

24. Het tellen van de uitgebrachte stemmen mag alleen plaatsvinden als de stemdienst de status 
"gesloten" heeft. 

De leverancier geeft zowel 'nee' als ja' als antwoord met als toelichting dat het mogelijk is 
maar dat de organisatorische procedure dit verhinderd (zie 21). 

28. De test duurt maximaal zeven kalenderdagen. 

De leverancier geeft zowel ja' als 'nee' als antwoord. 

29. De internetstemdienst wordt gedurende de voorbereiding en uitvoering van de test gehost op 
een locatie in Nederland. 

De leverancier geeft 'nee'als antwoord. 

3.5.1.5 Kostenspecificatie 

De leverancier geeft aan de volgende kosten in rekening te willen brengen voor deelname aan de 
test (exclusief BTW): 

• Integratie project (voorbereiding, documentatie en testen) voor een verkiezing: € 72.500 tot € 
109.000. 

• Hosting op de infrastructuur in het land van herkomst van de leverancier (platform en 
personele kosten) voor 50.000 personen: € 54.500 tot € 68.000. 

• Opslag voor extra kosten (reis-, verblijf- en onvoorziene kosten): € 13.500. 

In de toelichting geeft de leverancier de volgende nadere bepalingen weer: 

• Voor de hosting maakt de leverancier gebruik van haar eigen infrastructuur. Het is niet 
mogelijk om de E-voting service te hosten in Nederland. 

• In geschiktheidscriterium 5 geeft de leverancier aan dat DDoS aanvallen niet getest mogen 
worden op haar eigen infrastructuur. 

Tevens geeft de leverancier de volgende aannames weer: 

• De omgeving wordt opgezet en getest in de periode april tot juni 2016. 

• De schaduwverkiezing zelf vindt plaats in de periode november tot december 2016. 

• De maximale duur van een schaduwverkiezing is 7 kalenderdagen. 

• Potentieel nemen 50.000 proefpersonen deel aan de test. 
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3.5.2 

Samenvattend beeld 

Leverancier D heeft de vragen niet gedetailleerd beantwoord. Hierdoor is het niet voor alle criteria 
mogelijk gebleken om de onderbouwing op de antwoorden te verifiëren. 

Bovengenoemde samenvatting van de verificatie geeft aan dat de leverancier niet voldoet aan de 
eisen die het ministerie van BZK heeft gesteld: 

• Leverancier D stelt voorwaarden aan openbaarmaking van testresultaten. 

• Leverancier D doet geen uitspraak over het beschikbaar stellen van confidentiële informatie. 

Wel geeft zij aan dat zij bezig is met een traject om de source code te publiceren. 

• Leverancier D geeft aan dat zij niet aan alle geschiktheidscriteria voldoet. 

• Leverancier D geeft aan dat de testen plaats moeten vinden op de eigen infrastructuur en 
voldoet daarmee niet aan de eis dat dit in Nederland dient plaats te vinden. 

3.6 

Leverancier E 

3.6.1 

Samenvatting verificatie van de beantwoorde vragen 

3.6.1.1 

Vragen met betrekking tot gebruik internetstemdienst 

In haar beantwoording gaat de leverancier in op twee referenties in landen waar de 
internetstemdienst voor een bindende verkiezing voor vertegenwoordigende organen is 
toegepast. Er zijn geen referentieverklaringen verstrekt. Voor één referentie is per email door het 
vertegenwoordigend orgaan een bevestiging verstrekt. Voor de andere referentie is achterhaald 
dat de internetstemdienst in gebruik is geweest voor deze verkiezingen. 

3.6.1.2 

Vragen met betrekking tot richtlijnen en standaarden 

Het is niet te verifiëren of het systeem voldoet aan de aanbevelingen van de Raad van Europa. 

Het systeem wordt getoetst aan de Voluntary System Voting Guidelines dat geïnitieerd is vanuit 
de United States Election Assistance Commission. 

3.6.1.3 

Vragen met betrekking tot bereidheid en voorwaarden voor deelname test 

Leverancier E is bereid tot deelname aan de test. Zij stelt hiertoe de volgende voorwaarden: 

• Informatie die geclassificeerd is als 'Confidential and Proprietary' wordt niet beschikbaar 
gesteld. 


3.6.1.4 Geschiktheidscriteria 


3.6.1.5 

De leverancier heeft geen antwoorden aangeleverd voor de tweede vragenronde. Er heeft 
derhalve geen verificatie plaats kunnen vinden. 

Kostenspecificatie 

De leverancier heeft geen kostenspecificatie aangeleverd. 
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3.6.2 Samenvattend beeld 

Leverancier E heeft enkel de vragen uit vragenronde 1 beantwoord. Voor vragenronde 2 zijn zij 
niet tot beantwoording over gegaan. 
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Constateringen 


Het onderzoeksteam doet de volgende constateringen met betrekking tot het onderzoek voor 
internetstemmen fase A: 

1. 13 leveranciers zijn uitgenodigd voor deelname aan het onderzoek 

2. 5 leveranciers hebben aangetoond dat hun internetstemdienst is gebruikt bij een verkiezing 
voor vertegenwoordigende organen. 

3. 4 leveranciers hebben alle vragen beantwoord. 

4. 1 leverancier heeft enkel de beantwoording verzorgd op vragenronde één. Voor vragenronde 
twee hebben zij geen antwoorden verstrekt. Daarmee is verdere verificatie niet mogelijk 
gebleken op geschiktheidscriteria en het verstrekken van een kostenspecificatie. 

Ten aanzien van de bereidheid tot deelname en voorwaarden die de leveranciers stellen doet het 
onderzoeksteam de volgende constateringen met betrekking tot de vier leveranciers die alle 
vragen hebben beantwoord: 

1. Alle leveranciers stellen voorwaarden aan het openbaar maken van de uitkomsten van de 
test. 

2. Alle leveranciers stellen voorwaarden aan het beschikbaar stellen van informatie die 
aangemerkt wordt als vertrouwelijk of als Intellectueel Eigendom. 

3. Leveranciers A en B stellen voorwaarden aan het beschikbaar stellen van de source code. 

4. Leverancier C geeft aan dat penetratietest rapporten en expert verslagen kunnen worden 
verstrekt behalve wanneer dit is gerelateerd aan source code auditing, beschermde IP 
informatie en intellectueel eigendom. 

5. Het Leverancier D geeft aan dat zij in een traject zit om haar source code openbaar te 
maken. 

Ten aanzien van het beschikbaar stellen van de internetstemdienst op een infrastructuur in 
Nederland doet het onderzoeksteam de volgende constateringen met betrekking tot de vier 
leveranciers die alle vragen hebben beantwoord: 

1. Leverancier D antwoord negatief. Zij kunnen hun internetstemdienst enkel ter beschikking 
stellen op hun eigen infrastructuur in het buitenland. De andere leveranciers geven aan dat 
de hosting in Nederland verzorgd kan worden. 

2. De volgende leveranciers geven in hun beantwoording aan dat het tegengaan van DDoS- 
aanvallen wel of niet is meegenomen in hun specificatie van de infrastructuur: 

a. Leverancier A geeft aan dat er voor DDoS testen een separate voorziening in de 
infrastructuur moet worden getroffen en dat hier additionele kosten mee zijn gemoeid. 

b. Leverancier B geeft aan dat zij voor DDoS-mitigatie afhankelijk is van de hosting partner. 
Dit heeft zij niet nader gespecificeerd in de kostenopgave. 

c. Leverancier C doet geen uitspraak in haar kostenspecificatie over een specifieke 
infrastructuur, die als noodzakelijk is genoemd bij geschiktheidscriterium 5 voor 
DoS/DDoS mitigatie. 

d. Leverancier D geeft aan DDoS testen niet te ondersteunen. 

Ten aanzien van de geschiktheidscriteria doet het onderzoeksteam de volgende constateringen: 

1. Zowel Leverancier A als Leverancier B geven aan te voldoen aan alle geschiktheidscriteria en 
hebben onderbouwde antwoorden gegeven. 

2. Leverancier C heeft een summiere onderbouwing gegeven op de beantwoording van de 
geschiktheidscriteria en in sommige gevallen geen expliciet antwoord gegeven. Tevens 
voldoet zij formeel niet aan twee geschiktheidscriteria. 

3. Leverancier D heeft geen onderbouwing gegeven op de beantwoording van de 
geschiktheidscriteria en geeft aan dat ze niet aan alle geschiktheidscriteria voldoet. 
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Ten aanzien van de kosten voor het voorbereiden en uitvoeren van de test doet het 

onderzoeksteam de volgende constateringen met betrekking tot de vier leveranciers die alle 

vragen hebben beantwoord: 

1. Leverancier A geeft aan in totaal € 351.000 in rekening te zullen brengen voor deelname aan 
de onderdelen B en C van de voorgenomen test. Hierbij zijn de kosten voor de DDoS-module 
(zijnde € 146.000) inbegrepen. 

2. Leverancier B geeft aan in totaal € 861.115 in rekening te zullen brengen voor deelname aan 
de onderdelen B en C van de voorgenomen test. 

3. Leverancier C geeft aan in totaal € 112.000 in rekening te zullen brengen voor deelname aan 
de onderdelen B en C van de voorgenomen test. Onduidelijk is nog of hierin ook de kosten 
zijn opgenomen voor de specifieke infrastructuur ten behoeve van DDoS mitigatie. Tevens 
geldt dat het doen van aanpassingen door Leverancier C, om te voldoen aan 
geschiktheidscriterium 12, niet in haar kostenopgave is opgenomen. 

4. Leverancier D geeft aan in totaal tussen de € 140.500 en € 190.500 in rekening te zullen 
brengen voor deelname aan de onderdelen B en C van de voorgenomen test. Dit is 
uitgezonderd een infrastructurele voorziening voor DDoS-testen. 

5. Alle bovengenoemde bedragen zijn exclusief BTW. 
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